package com.atbeijing.bigdata.spark.streaming

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.{Seconds, StreamingContext}

import scala.collection.mutable

object SparkStreaming03_Source_Dir {

    def main(args: Array[String]): Unit = {

        // TODO 创建环境对象
        val sparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkStreaming")

        // 构建StreamingContext对象时，第二个参数表示数据 采集周期，以毫秒单位，一般以秒为单位使用
        val ssc = new StreamingContext(sparkConf, Seconds(3))

        //监听指定目录,但是效果不佳,一般不用
        val dirDS = ssc.textFileStream("data")

        dirDS.print()

        // 启动采集器
        ssc.start()


        ssc.awaitTermination()
    }
}
